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Модель питання в природномовних системах тестування 


В статье рассматривается проблема генерирования вопросов в системах компьютерного тестирования 
знаний. Предложена модель вопроса, учитывающая составляющие предметной области вопроса и 
текущие параметры тестирования. Представлена структурная схема процесса формирования вопроса. 
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У статт! розглядаеться проблема моделювання питань у системах комп’ютерного тестування знань. 
Запропоновано модель питання, що враховуе складов! предметно! област! питання та поточн! параметри 
тестування. Наведена структурна схема процесу формування питання. 

Ключов! слова: система тестування знань, модель питання, природна мова, параметри тес- 
тування. 


Введение 


Одной из задач, решаемых при построении систем компьютерного контроля 
знаний, является задача формирования не повторяющихся наборов вопросов (набора 
тестовых заданий). Необходимость формирования разных наборов тестовых заданий 
обусловлена тем, что обучаемый может проходить тест по одной и той же теме не- 
сколько раз. При этом неправильные ответы на один и тот же вопрос можно запомнить 
и затем исключать их при повторном тестировании. В простейших системах ком- 
пьютерного тестирования знаний набор заданий формируется случайным образом из 
множества априорно заданных вопросов. Формирование наборов заданий таким спосо- 
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бом требует большого количества вопросов и их формулировок, а это является трудо- 
емкой работой и довольно субъективной. Кроме этого, при создании адаптивных систем 
тестирования реализация механизма сложности вопроса также трудоемка и субъек- 
тивна. В результате возникает необходимость использования методов, позволяющих 
генерировать вопросы автоматически в ходе работы системы. 

Целью данной статьи является повышение эффективности систем тестирования 
за счет автоматического генерирования вопросов на естественном языке с учетом целей 
тестирования и текущего состояния процесса тестирования. 


Методы формирования вопросов в системах 
компьютерного контроля знаний 


Самым распространенным способом формирования теста при многократной про- 
верке знаний является случайный выбор заранее заданных в базе данных (БД) вопросов. 
В некоторых системах для расширения количества вариантов заданий существует 
возможность генерирования вопросов. Например, в системе ТеасВГаб реализована 
возможность генерирования числовых параметров в заданиях. Возможны различные 
варианты генерации заданий, один из которых — это генерация параметров в зада- 
ниях (одного или нескольких) [1]. 

Другим подходом является подход, основанный на использовании шаблонов [2]. 
В системе контроля знаний присутствует блок «формирования тестовых заданий», ко- 
торый на основе заданных шаблонов формирует задание. Этими шаблонами являются: 

1. Шаблоны базового задания: «Дайте определение понятию Х», «Запишите опре- 
деление Х», «Сформулируйте теорему Х», где Х - некоторое понятие дисциплины, 
которое является базовым для рассматриваемой тройки заданий. 

2. Шаблоны вспомогательного задания: «Одинаковы ли понятия 7, и У?», «Вычис- 
лите У», «Примените определение У для решения задачи /» и т.д., где У, 7, опирается 
на базовое понятие. 

3. Шаблоны развивающего задания: «Приведите примеры элементов класса 7». 

Задания, формирующиеся на основе шаблонного метода, визуально отличаются 
только параметрами Х, У, 7. Изменив параметр в «Шаблоне базового задания», в ответе 
пользователю потребуется дать другое определение. Для заданий, которые основы- 
ваются на вычислении по формулам, ход решения задачи сохраняется. При этом для 
заданий на вычисление возможна генерация вопросов с различными параметрами, 
но с единим ответом. Однако применение такого подхода в системе тестирования 
приводит к необходимости ограничения параметров: 

— для числовых параметров это диапазон значений; 

— для нечисловых параметров это диапазон значений, заданный перечислением 
и исключениями. 

Представленный подход не покрывает все известные классы вопросов, однако яв- 
ляется достаточно конструктивным для генерирования вопросов некоторых дисциплин. 

Для примера рассмотрим вопросы из дисциплины «Биология»: «В чем состоит 
биологическая роль кислорода?», «В чем состоит суть защитной функции кислорода?» 
«При каком минимальном содержании кислорода в воздухе возможно дыхание чело- 
века?», «К какой группе химических элементов относится кислород?». Данный ряд 
вопросов покрывается представленным выше набором шаблонов. Следует отметить, 
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что с системной точки зрения этой группой вопросов ограничивается некоторая пред- 
метная область дисциплины. В данном случае данными о функциях и свойствах кисло- 
рода для школьной биологии. Функции кислорода можно рассматривать как понятия Х, 
его свойства, которые можно выразить численно, как У. Таким образом, для автома- 
тической генерации вопроса необходима онтологическая модель некоторой предметной 
области дисциплины, включающей объекты Х и их свойства У, и естественно-языковая 
модель, определяющая принципы построения текста вопроса и способы выражения Х 
и У с помощью естественного языка (ЕЯ). 


Постановка задачи 


На примере вопросов по биологии видно, что все они относятся к очень ограни- 
ченной предметной области дисциплины и в рамках учебной дисциплины практически 
не связаны с другими предметными областями. Назовем такие предметные области 
дисциплины предметной областью вопроса (ПОВ). Отметим, что генерация вопроса 
не является окончательной целью тестирования. На вопросы надо отвечать и оцени- 
вать ответ. Для автоматической оценки ответа на один из видов вопроса (вопрос на 
перечисление) в [3] предлагается смысловая модель ответа, построенная на онтоло- 
гической модели ограниченной предметной области дисциплины и языковой модели 
ответа. Фактически в нашем случае и в [3] речь в целом идет об одной и той же пред- 
метной области. Это означает, что онтологические или смысловые модели вопроса и 
ответа идентичны, а отличаются языковыми моделями генерирования вопроса и мо- 
делью анализа ответа. Выражение «Смысловая модель дисциплины» мы вводим для 
того, чтобы не было противоречий между дисциплинами. Например, в повседневной 
жизни мы наблюдаем, что солнце восходит и заходит, т.е. наш опыт говорит, что 
Солнце вращается вокруг Земли, а в астрономии наоборот, Земля вращается вокруг 
Солнца. Это означает, что в сознании человека для одной и той же объективной реаль- 
ности (не зависящей от сознания) могут существовать две и более смысловые модели. 
Это приводит к тому, что ответы на одинаковую языковую формулировку вопроса 
будут не только различны, но и диаметрально противоположны. 

В теории компьютерного контроля знаний при выборе вопросов учитывается ряд 
количественных характеристик, которые могут служить для выбора в рамках ПОВ 
определенных смыслов, отличающихся сложностью и другими параметрами, исполь- 
зуемыми для оценки в разных режимах тестирования (окончательное, начальное, про- 
межуточное, личностное и др.) [4]. Определим эти параметры как текущие параметры 
тестирования. 

Текущие параметры тестирования — набор правил фактов и данных, в которых 
учитывается история прохождения тестирования, сложность выполненных тестов, 
время выполнения заданий, статистика по правильным ответам, количество попыток 
прохождения теста и др. 

Таким образом, задача формирования естественно-языкового вопроса заключается 
в следующем: по модели смысла ПОВ, определяющей множество элементов ПОВ, 
их свойств, отношений и функций, выбрать смысл, удовлетворяющий этой модели с 
учетом текущих параметров тестирования, и для него сгенерировать грамматически 
правильный ЕЯ текст вопроса. Под генерированием будем понимать морфологиче- 
ское согласование лексем в вопросе и соответствие текста вопроса синтаксису языка, 
в том числе расстановке знаков пунктуации. 
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Модель вопроса в естественно-языковых 
системах тестирования 
В соответствии с постановкой задачи определим модель вопроса в виде тройки: 
О = ($О0М, М.ОМ, ТРТ), 


где 5ОМ -— смысловая (онтологическая) модель вопроса; 
МГОМ - языковая модель вопроса; 
ТРТ - правила, факты и данные текущих состояний тестирования. 
Смысловая модель вопроса ЗМ определяет объект или объекты ПОВ, их свойства 
и диапазоны свойств. Данная модель строится на основе известных методов представ- 
ления знаний в искусственном интеллекте и их комбинаций в зависимости от типа 
дисциплины и не зависит от естественного языка. 
Языковая модель вопроса определена в виде тройки: 


МГОМ = (15, Бь ЮГО), 


где [5 „ - подмножества лексем и сочетаний лексем (синонимы и метафоры) в 
основной морфологической форме, обозначающих элементы множества предметной 
области и их свойства; и = /[, ... М- количество элементов предметной области; 

Рь - подмножества дополнительных лексем и их сочетаний (вопросительные 
слова, синонимы, метафоры и идиомы) соответствующего шаблона вопроса; К = Г, ...3 , 
усиливающие языковую выразительность текста вопроса в основной морфологиче- 
ской форме; 

ЮГО — множество морфологических и синтаксических правил, определяющих 
сочетания лексем из [,$„ и Бу, в тексте вопроса. 


Процесс формирования вопроса 


В рамках предложенной модели на рис. 1 представлены основные этапы процесса 
автоматического генерирования вопроса. 


Запрос 
пользователя 


Определение текущего смысла 
вопроса 


Рисунок |- Структурная схема процесса генерирования вопроса 
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На первом этапе по данным текущего тестирования определяется шаблон вопроса. 
На втором этапе по модели ЗОМ определяется текущий смысл, который окончательно 
учитывает данные текущего тестирования. На третьем этапе формируется текст вопроса, 
учитывающий лексику дисциплины, тип шаблона вопроса и уровень тестируемого. 


Выводы 


1. Предлагаемая модель позволяет отказаться в системах тестирования от слу- 
чайного выбора вопросов из множества априорно заданных вопросов. 

2. Смысловая и языковая модели, а также модуль текущих параметров тестиро- 
вания, могут совершенствоваться в процессе эксплуатации и использоваться для по- 
строения систем тестирования различного назначения и сложности. 
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ТБе пабга! 1апоцазе даезноп то4е] (МЁГОМ) 1$ дейпед аз тре 


МГОМ = (15, ь ЮГО) 

уУ*Пеге: 
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ргорегаез; и = [, ... М1$ а питег доташ еетепе; 

Дь 1$ $а6з$е5 оЁ фе адопа| ]ехетез (Фе зупопуп$ ап теарВогз) ш Фе тат 
тогрВоозтса! огт, Фа ге]еуапе ю еасВ даезНоп {урез; К = [, ... 3 1$ а патЬег оЁ ачезйоп 
(урез; 

ЮГ 15$ а зе оЁ тогрвоюзса| ап зущах пез, дейите отаптайса| пез оЁ Фе 
сотЫшаноп оЁ Ше ]ехетез$ гот [,5„ апа Ох; 

Сштепе {езНпо рагатеегз (ТРТ) 1$ а $её оЁ ааа \ушсВ ‘аКе шю ассоипе гап-@те (азКз, 
уай$Ис$ оп Фе согтес( ап$\ег$, ше питег оЁ айетр © раз$ Ше {ез6 Ше сотрехиу о? (е5$ 
рефоптед. 
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ЧиезНоп$ 15 ргорозе4. ТВе оНеге4 диезйоп то аПо\$ изте Фе зупопупл$ ап теарВог$ 
ш доезвоп. Ё 1$ а15о оНеге4 даезйоп то4е|, \ысЬ аПо\з ‘аКте ш®ю ассоипЕ даа оп Фе 
ситеп (езНпс рагатеегв. 


Статья поступила в редакцию 13.07.2012. 
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